AWS WAF Bot Controlルールグループを利用してBot対策を試みてみた

AWS WAFとBot Controlルールグループを活用して、Facebookクローラーによる過剰なアクセスを特定、ブロック措置を取ることで、DB(RDS)の負荷軽減が実現できました。

#AWS WAF

#AWS

#Performance Insight

suzuki.ryo

2024.08.29

ボットによるアクセスが原因と推測されるRDSのDB負荷上昇が確認された環境で、
AWS WAF と AWS WAF Bot Control ルールグループ(AWSManagedRulesBotControlRuleSet)を利用して調査と対策を試みる機会がありました。

その内容について紹介させていただきます。

背景

RDS、DB のCPU使用率が100%に到達。サービスの遅延やエラー応答が確認されました。
暫定対策として RDSのスペックアップを実施、サービス影響を回避していました。

対象システムの状況

RDS パフォーマンスインサイト情報

DB-AAS2

増強によりサービスの遅延は解消しましたが、DB負荷は高い状態が継続していました。
スペックアップを継続した場合、費用負担も課題でした

AWS WAF による対策

Bot Controlルールグループ追加

既存の WAF ACL に、AWS WAF Bot Control ルールグループ (AWSManagedRulesBotControlRuleSet)を追加しました。

Bot Control ルールは「Common」を選択

BotControlルール設定1

初期段階では、Override rule group action を利用して、すべての「Count」として扱う設定としました。

BotControlルール設定2jpg

結果の確認

DB負荷の変動を観察しながら、DB負荷が収束、再上昇が記録されたタイミングで、AWS WAFのレポートを確認しました。

DB-AAS1

Traffic overview

Action_Totals

Bot detection

全アクセスの約2.6%がボットと判定されました。

Bot Detection

「Non-bots」をグラフの表示対象から除外、「Verified」「Unverified」の判別、特異な傾向は認められませんでした。

Bot Detection !nonbot

Bot category

Bot categories1

「HttpLibrary」を除外して、カテゴリ別のグラフを確認しました。

Bot categories2

「SocialMedia」が、DB負荷(AAS)と相関関係にある可能性が判明しました。

Bot categories3

DB-AAS1

Browse bot activity

詳細な分析により、Facebookからのリクエストが特定されました。

Bot activity facebook

ブロック実施

Category単位

今回は副作用、Facebook 以外の SNSへの影響を避けるため、「CategorySocialMedia」単位のブロックは見送りましたが、「CategorySocialMedia」と判定されたリクエスト、一律ブロックは以下で実現出来ます。

Override rule group action の解除
Override all rule actions を「Override to Count」に設定

Override to count1

「CategorySocialMedia」のみ「Override to Block」に設定

Override Block SNS

Label

AWSManagedRulesBotControlRuleSetが付与したラベルを利用する事で、Facebookと判定されたボットのみのブロックが実現可能です。

BotContolRuleset Labels

WAF、レギュラールール

Labelでブロックルール作成

Inspect: 「Has a label」
Match key: 「awswaf:managed:aws:bot-control:bot:name:facebook」「awswaf:managed:aws:bot-control:bot:name:facebook_bot」

こちらも副作用、負荷問題が発生していないページのシェアなどに影響する可能性があったため、
一律のラベル制限も避けました。

UserAgent、リクエストパス

CloudFrontの標準アクセスログをAthena確認を試み、具体的なUserAgent、リクエスト先のパスの確認を試みました。

SELECT sum(time_taken) as sum_time_taken,
	count(1) as count_req,
	substr(cs_uri_stem, 1, 4) as url_path_4,
	cs_user_agent
FROM "cloudfront_standard_logs"
WHERE cs_user_agent not like 'Mozilla%'
group by cs_user_agent,
	substr(cs_uri_stem, 1, 4)
order by sum(time_taken) desc

一般的なブラウザ「Mozilla」を名乗るリクエストは除外、

UserAgent文字列
リクエストパス(開始数文字)

単位でレスポンス時間(time_taken)の合計値と、リクエスト数を求めました。

Athena_UserAgent集計

特定のパス、Facebook のクローラー(
facebookexternalhit/1.1%20(+http://www.facebook.com/externalhit_uatext.php))に一致するリクエストをブロックするルールを作成しました。

ブロックルール作成

CloudFormation定義抜粋

        - Name: !Sub '${AWS::StackName}-BlockFacebookCrawler'
          Priority: 200
          Action:
            Block: {}
          Statement:
            AndStatement:
              Statements:
                - ByteMatchStatement:
                    SearchString: '/xyz/*'
                    FieldToMatch:
                      UriPath: {}
                    TextTransformations:
                      - Priority: 0
                        Type: NONE
                    PositionalConstraint: STARTS_WITH
                - ByteMatchStatement:
                    SearchString: 'facebookexternalhit'
                    FieldToMatch:
                      SingleHeader:
                        Name: 'user-agent'
                    TextTransformations:
                      - Priority: 0
                        Type: NONE
                    PositionalConstraint: STARTS_WITH

結果

AWS WAFによるブロック開始後、RDSのDB負荷が大幅に軽減されました。

ActionTotal Block実績

DB負荷改善後AAS

まとめ

AWS WAF Bot Control ルールを利用した Bot対策により、RDSの負荷軽減に成功した一例を紹介させて頂きました。

ただし、今回ブロックしたFacebookのクローラーは本来は善良な目的のボットでした。

FacebookExternalHit
FacebookExternalHitの主な目的は、Facebook、Instagram、MessengerなどのMetaファミリーのいずれかのアプリで共有されたアプリやウェブサイトのコンテンツをクロールすることです。リンクはコピー&ペースト、またはFacebookソーシャルプラグインを使用して共有されている可能性があります。このクローラーは、アプリまたはウェブサイトに関する情報(タイトル、説明、サムネイル画像など)を収集し、キャッシュに保存し、表示します。